Setelah menghabiskan kursusnya di England, Mohd Shafie kembali ke Malaysia dan memulakan kerjayanya dalam perkhidmatan awam sebagai Pegawai Ahli Ekonomi dalam Kementerian Kewangan Negeri Sabah pada tahun 1982. Pada tahun 1984, beliau berpindah ke Jabatan Ketua Menteri Negeri Sabah untuk memegang jawatan Pegawai Pentadbir Kanan. Beliau kemudian berpindah ke Kementerian Pembangunan Perindustrian dan Luar Bandar Sabah pada tahun 1987 untuk menyandang jawatan Penolong Setiausaha Kanan, Kementerian Pembangunan Perindustrian dan Luar Bandar Sabah, dan dari tahun 1991 hingga 1993, merupakan Setiausaha Politik kepada Tan Sri Datuk Hj. Sakaran bin Dandai, Menteri Tanah dan Pembangunan Koperasi.